Function approximation has enabled remarkable advances in applying reinforcement learning (RL) techniques in environments with high-dimensional inputs, such as images, in an end-to-end fashion, mapping such inputs directly to low-level control. Nevertheless, these have proved vulnerable to small adversarial input perturbations. A number of approaches for improving or certifying robustness of end-to-end RL to adversarial perturbations have emerged as a result, focusing on cumulative reward. However, what is often at stake in adversarial scenarios is the violation of fundamental properties, such as safety, rather than the overall reward that combines safety with efficiency. Moreover, properties such as safety can only be defined with respect to true state, rather than the high-dimensional raw inputs to end-to-end policies. To disentangle nominal efficiency and adversarial safety, we situate RL in deterministic partially-observable Markov decision processes (POMDPs) with the goal of maximizing cumulative reward subject to safety constraints. We then propose a partially-supervised reinforcement learning (PSRL) framework that takes advantage of an additional assumption that the true state of the POMDP is known at training time. We present the first approach for certifying safety of PSRL policies under adversarial input perturbations, and two adversarial training approaches that make direct use of PSRL. Our experiments demonstrate both the efficacy of the proposed approach for certifying safety in adversarial environments, and the value of the PSRL framework coupled with adversarial training in improving certified safety while preserving high nominal reward and high-quality predictions of true state.

Many problems can be viewed as forms of geospatial search aided by aerial imagery, with examples ranging from detecting poaching activity to human trafficking. We model this class of problems in a visual active search (VAS) framework, which takes as input an image of a broad area, and aims to identify as many examples of a target object as possible. It does this through a limited sequence of queries, each of which verifies whether an example is present in a given region. We propose a reinforcement learning approach for VAS that leverages a collection of fully annotated search tasks as training data to learn a search policy, and combines features of the input image with a natural representation of active search state. Additionally, we propose domain adaptation techniques to improve the policy at decision time when training data is not fully reflective of the test-time distribution of VAS tasks. Through extensive experiments on several satellite imagery datasets, we show that the proposed approach significantly outperforms several strong baselines. Code and data will be made public.

大多数强化学习算法隐含地假设强同步。我们提出了针对Q学习的新颖攻击，该攻击通过延迟有限时间段的奖励信号来利用该假设所带来的漏洞。我们考虑了两种类型的攻击目标：目标攻击，旨在使目标政策被学习，以及不靶向的攻击，这只是旨在诱使奖励低的政策。我们通过一系列实验评估了提出的攻击的功效。我们的第一个观察结果是，当目标仅仅是为了最大程度地减少奖励时，奖励延迟​​攻击非常有效。的确，我们发现即使是天真的基线奖励 - 延迟攻击也在最大程度地减少奖励方面也非常成功。另一方面，有针对性的攻击更具挑战性，尽管我们表明，提出的方法在实现攻击者的目标方面仍然非常有效。此外，我们引入了第二个威胁模型，该模型捕获了一种最小的缓解措施，该模型可确保不能超出顺序使用奖励。我们发现，这种缓解仍然不足以确保稳定性延迟但保留奖励的命令。

尽管深度强化学习取得了长足的进步，但已被证明非常容易受到对国家观察的影响。尽管如此，最近试图改善强化学习的对抗性鲁棒性的努力仍然可以忍受很小的扰动，并且随着扰动大小的增加而保持脆弱。我们提出了自举的机会对抗性课程学习（BCL），这是一种新型的灵活的对抗性课程学习框架，用于强大的增强学习。我们的框架结合了两个想法：保守地自行启动每个课程阶段以及从上一个阶段的多个运行中获得的最高质量解决方案，并在课程中进行了机会主义跳过。在我们的实验中，我们表明所提出的BCL框架可以使学到的政策的鲁棒性显着改善，从而使对抗性扰动。最大的改进是乒乓球，我们的框架在最多25/255的扰动中产生了稳健性。相比之下，最好的现有方法只能忍受最高5/255的对抗噪声。我们的代码可在以下网址提供：https：//github.com/jlwu002/bcl。

在影响金融，社会和政治福祉的域名中使用算法决策制定的系统已经为这些决策制定制度的需求产生了“公平”，在一些公平的公平概念下。这种需求反过来又激发了一个大型工作，专注于开发公平学习算法，然后用于代替其传统的对应物。对这些公平算法的大多数分析从假设受到算法决策影响的人数被表示为不可变特征向量。然而，战略代理人可能具有操纵该观察到的特征向量的能力和激励，以获得更有利的结果。我们探讨了战略代理行为可能在公平分类器和派生条件下的影响，因为这种行为导致公平分类者比其相同的公平衡量标准的传统同行变得不那么公平。这些条件与公平分类器对原始非管理数据不公平的方式有关：公平分类机构通过比传统对应物变得更加选择的选择性来解决不公平的分类机，这是当代理人是战略性时变得不如同行的那些。我们进一步证明了公平分类器的选择性增加，并因此丧失了公平性，在进行优势集团在决策边界（以及）决策边界附近的区域传统分类器。最后，我们在实验中观察，使用多个数据集和学习方法，这种公平逆转是常见的，并且我们对公平逆转条件的理论表征确实存在于大多数情况下。

欺骗是网络防御曲目中的重要工具，使后卫能够利用其信息优势来减少成功攻击的可能性。可以采用欺骗的一种方式是通过掩盖或掩盖有关系统如何配置的某些信息，从而增加了攻击者对目标的不确定性。我们介绍了由此产生的防守者​​攻击者互动的新颖游戏理论模型，其中防守者选择了掩盖属性的子集，而攻击者通过选择执行漏洞来做出响应。两个参与者的策略具有与复杂的信息依赖性的组合结构，因此甚至代表这些策略并不是微不足道的。首先，我们表明，计算由此产生的零和防御者攻击者游戏平衡的问题可以表示为具有组合数量的系统配置变量和约束的线性程序，并开发了解决此问题的约束生成方法。接下来，我们通过代表两个玩家作为神经网络的策略来介绍一种新颖的高度可扩展方法，用于近乎解决此类游戏。关键思想是使用深神网络生成器代表防御者的混合策略，然后使用交替的梯度散发算法，类似于训练生成对抗性网络。我们的实验以及案例研究证明了所提出的方法的功效。

在过去的五十年中，研究人员已经开发了设计和改进了应急响应管理（ERM）系统的统计，数据驱动，分析和算法方法。该问题已被认为是本质上的困难，并且构成了不确定性下的时空决策，这在文献中已经解决了不同的假设和方法。该调查提供了对这些方法的详细审查，重点关注有关四个子流程的关键挑战和问题：（a）事件预测，（b）入射检测，（c）资源分配，和（c）计算机辅助调度紧急响应。我们突出了该领域前后工作的优势和缺点，并探讨了不同建模范式之间的相似之处和差异。我们通过说明这种复杂领域未来研究的开放挑战和机会的结论。

简介：血管可以从数字眼底图像（DFI）中可视化。几项研究表明，从DFI获得的心血管风险与血管特征之间存在关联。计算机视觉和图像分割的最新进展使自动化DFI血管分割。需要从这些分段DFI中自动计算数字脉管生物标志物（VBM）的资源。方法：在本文中，我们引入了Python Vasculature生物标志物工具箱，表示为PVBM。总共实施了11个VBM。特别是，我们引入了新的算法方法来估计曲折和分支角度。使用PVBM和作为可用性的证明，我们分析了青光眼患者和健康对照组之间的几何血管差异。结果：我们基于DFI分割构建了一个全自动的血管生物标志物工具箱，并提供了表征青光眼的血管变化的可用性证明。对于小动脉和静脉，与健康对照组相比，青光眼患者的所有生物标志物都显着且较低，除了曲折度，静脉奇异长度和静脉分支角度。结论：我们已经从视网膜血管分割中对11个VBM进行了自动化。 PVBM工具箱是根据GNU GPL 3许可证的开源，可在Physiozoo.com（发布之后）上找到。

生成对抗性示例是创建添加到分类神经网络的输入信号的噪声的领域，从而改变网络的分类，同时保持噪声尽可能脆弱。虽然该主题在2D制度中得到了很好的研究，但它在3D制度中滞后，即攻击适用于3D点云或网格的分类网络，例如，对人们的3D扫描的姿势进行分类。截至目前，绝大多数论文都通过优化方法描述了这一制度的对抗性攻击。在本技术报告中，我们建议一个产生攻击的神经网络。该网络利用PointNet的体系结构进行一些更改。虽然我们基于我们的工作的前一篇文章必须单独优化每个形状，但没有任何学习的每个单独输入从头定制攻击，我们试图创建一个统一的模型，可以用一个向前推断所需的对抗性示例跑。